Khổng có thói quen hút xì gà.[9] Tạp chí TIME nói rằng Khổng hút "15 điếu xì gà La Habana" một ngày.[10]

Ông theo đạo Kitô.[1][7]

Khổng Tường Hy là hậu duệ đời thứ 75 của Khổng Tử. Điều này thể hiện qua tự bối Tường (祥, bính âm: Xiáng).[11][12] Cha của ông là Khổng Phồn Từ (tiếng Trung: 孔繁慈; bính âm: Kǒng Fáncí; Wade–Giles: K'ung Fan-tsi) (1861–1911), hậu duệ đời thứ 74 của Khổng Tử thể hiện qua tên đệm Phồn (繁).

Khổng Tường Hy cưới người vợ đầu năm 1910 nhưng bà qua đời năm 1913. Năm 1914, Khổng cưới người vợ thứ hai là Tống Ái Linh, chị cả trong ba chị em họ Tống.[13] Cuộc hôn nhân này khiến ông trở thành anh rể của Tống Mỹ Linh, vợ của Tưởng Giới Thạch. Những người con của Khổng Tường Hy với Tống Ái Linh là:

• Khổng Lệnh Nghi (孔令儀), gái
• Khổng Lệnh Khản (孔令侃), trai
• Khổng Lệnh Tuấn (孔令俊), gái, còn được gọi là Khổng Lệnh Vĩ (孔令偉)
• Khổng Lệnh Kiệt (孔令傑), trai

Các con của ông đều có tên đệm là Lệnh (令) để cho biết rằng họ là hậu duệ đời 76 của Khổng Tử.

Cơ ngơi nhà họ Khổng ở Thái Cốc, Sơn Tây theo lối kiến trúc giữa đời nhà Thanh và được bảo quản khá tốt, có thể được mở cho du khách.